Grünberg sinh ở Pilsen, Bohemia, thời gian đó quân đội phát xít Đức đang chiếm đóng vùng Bohemia và Moravia (bây giờ gọi là Cộng hòa Séc). Ông sinh ra trong một gia đình người Đức sống ở Séc[4], bố là Feodor A. Grünberg và mẹ là Anna[5] và nơi họ sống đầu tiên là ở Dysina[6][7] (Dýšina) phía Đông của Pilsen.

Sau chiến tranh, gia đình ông bị ly tán, bố mẹ ông bị chuyển đến một trại. Bố ông, một kĩ sư sinh ở Nga, làm việc cho Škoda từ 1928, và mất vào ngày 27/11/1945 ở một nhà tù Séc và bị chôn trong khu mộ tập trung ở Pilsen.[8] Mẹ ông bà Anna (mất năm 2002 ở tuổi 100)[9] phải làm nông nghiệp và ở với bố mẹ của bà ở nhà Petermann[10] tại Untersekerschan[11] (Dolní Sekyřany), nơi sau này các con bà (Peter Grünberg cùng một chị sinh năm 1937) được chuyển tới. Gia đình ông, giống như nhiều người Đức khác, đã bị trục xuất khỏi Séc năm 1946.[12] Gia đình và cậu bé 7 tuổi Peter được chuyển đến Lauterbach, Hesse và cậu đi học ở đây.[13]

Grünberg nhận bằng cử nhân bậc trung (intermediate diploma) năm 1962 ở trường Đại học Johann Wolfgang Goethe ở Frankfurt. Sau đó ông học Đại học công nghệ Darmstadt, nơi ông nhận bằng cử nhân về vật lý năm 1966 và bằng tiến sĩ năm 1969. Từ 1969–1972, ông nghiên cứu sau tiến sĩ tại Đại học Carleton ở Ottawa, Canada. Sau đó ông vào làm việc ở Viện Vật lý chất rắn của Trung tâm nghiên cứu Jülich, nơi ông trở thành nhà nghiên cứu hàng đầu về màng mỏng và đa lớp từ cho đến khi ông nghỉ hưu năm 2004.[13]